InstaDrag 通过拖动实现 AI 自动图片编辑

去年这个时候介绍过 DragGAN（DragGAN 开源了），但是我之前自己跑过 demo，速度非常慢。这几天看到 NUS 和字节跳动发布了一个类似的项目InstaDrag，据说处理速度快很多。虽然代码还没有开源，demo 也不能运行，但可以先看看项目和论文的原理。

效果

Single-Round Dragging

Multi-Round Dragging

对比

速度提升

原理

INSTADRAG 的处理流程包括三个组件：

1. 修复扩散主干网络：用于确保未被遮挡的区域保持不变；
2. 外观编码器：用于保持参考图像的身份；
3. 点嵌入网络：用于编码（操作点，目标点）对。